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Wielokategorialny system uczący się 
(multilabel learning system) 


e Zbiór danych wejściowych: 


X Zi 
e Zbiór klas (kategorii): 
Y ={1,2....,0} 


e Zbiór uczący: 
T=+(x,%,,(x%,Y,),...(x,„Y,), x,EX, YCYAYŁO 
e Wielokategorialny system uczący się 
- Utworzenie wielokategorialnego klasyfikatora: 
h:X >2 


Wielokategorialny system uczący się 
(multilabel learning system) 


e Zamiast klasyfikatora (h) system tworzy funkcję: 
f:XxXYOR 
e Dla pary uczącej (x„Y.), +,¢€X, Y¥,cYAY,#@ 
system dąży do generowania funkcji spełniającej 
warunek (vyełay,er,) f(x,y,)> f(%,),) 
e Na podstawie utworzonej funkcji można wygenerować 
klasyfikator: 
(Yxe X) hlxj=tyeY:f(x,y)>t(0J 
gdzie t:X — R jest funkcją progową 


Problem wielokategorialnej klasyfikacji 


1. Dekompozycja na niezależne problemy 
klasyfikacji binarnej 
e Nie uwzględnia korelacji pomiędzy różnymi 
klasami 
2. Każdy podzbiór kategorii stanowi oddzielną 
klasę 
e Generuje dużą liczbę klas 
(Q kategorii — 2° klas) 


Problem wielokategorialnej klasyfikacji 


e Dobry wielokategorialny system uczący się 
— Uwzględnianie korelacji pomiędzy różnymi 
klasami (kategoriami) 
— Zachowanie małej liczby klas 


Sieć neuronowa 
jako wielokategorialny klasyfikator 


e BP-MLL (Backpropagation for Multilabel Learning) 

e Autorzy: 

— Min-Ling Zhang 

— Zhi-Hua Zhou 

Pierwszy wielokategorialny system uczacy sie oparty 
na sieciach neuronowych 

Perceptron ze zmodyfikowaną funkcją błędu 

Uczenie — wsteczna propagacja błędu 


Sieć neuronowa 
jako wielokategorialny klasyfikator 


e Architektura 


Sieć neuronowa 
jako wielokategorialny klasyfikator 


e Funkcja błędu 
— Klasyczna — błąd średniokwadratowy 


x nę i i i i +l, jey, 
E=YE= Y (i-d }, c,=c,(x,), d,= l 
i=l i=l j=l =L ger, 
e Uwzględnia poszczególne kategorie niezależnie 
e Nie uwzględnia korelacji pomiędzy kategoriami 
(klasami) 
— Na wyjściu sieci powinny być większe wartości 
dla kategorii należących do Y; niż dla kategorii 
spoza Y, 


Sieć neuronowa 
jako wielokategorialny klasyfikator 


e Funkcja błędu 


- Zmodyfikowana 


E=$ E=} ip] 


i=l i=l 


2 lac) a =c, (x,) 
(k LEY; xY, 


Y |X, 


e Koncentracja na różnicy pomiędzy wartością wyjściowymi dla 
kategorii należących do Y; a wartościami wyjściowy dla 
kategorii spoza Y; 

e Silne karanie w przypadku wartości wyjściowych dla kategorii 
spoza Y; większych niż dla kategorii z Y; 

e Uwzględnia zależności pomiędzy różnymi klasami — większe 
wartości na wyjściu sieci dla kategorii należących do Y, niż dla 
kategorii spoza Y; 


Sieć neuronowa 
jako wielokategorialny klasyfikator 


e Funkcja błędu 
— Przykład 


e Oczekiwane wartości na wyjściu sieci: 1, 1, -1 


Rzeczywiste wartości na Klasyczna Zmodyfikowana 
wyjściu sieci funkcja błędu funkcja błędu 


0.05, 0.05, -0.05 2.1075 0.9048 


Sieć neuronowa 
jako wielokategorialny klasyfikator 


e Uczenie 
— Algorytm wstecznej propagacji błędu 
— Modyfikacje wag (warstwy ukryta — wyjściowa): 
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Sieć neuronowa 
jako wielokategorialny klasyfikator 


e Uczenie 
— Algorytm wstecznej propagacji błędu 
— Modyfikacje wag (warstwy wejściowa — ukryta): 


Sieć neuronowa 
jako wielokategorialny klasyfikator 


e Klasyfikacja 
— Na podstawie wartości wyjściowych sieci ustalany 
jest zbiór kategorii (klas) odpowiadający danym 
wejściowym: 
Ue Yic, > t(x)} 
gdzie t:X KR jest funkcją progową 
— Funkcja progowa: 
e Stała funkcja (t(x) = 0) 
e Wyznaczana na podstawie zbioru uczącego 


Sieć neuronowa 
jako wielokategorialny klasyfikator 


e Klasyfikacja 


— Funkcja progowa — wyznaczanie na podstawie 
zbioru uczącego: 


e Dla każdej pary uczącej (x,Y,), xeX, VcYAY,4#@ 
określona jest wartość funkcji progowej: 
t(x )= argmin (ike Y :cj <qf+|le jie > t)) 

e Parametry funkcji progowej wyznaczane na podstawie 
rozwiązania równania: 
Aw'=t, 


Miary oceny jakości 
klasyfikacji wielokategorialnej 


e Hamming loss 
— Określa jak często występuje błędna klasyfikacja 
— |m mniejsza wartość tym lepiej 


Miary oceny jakości 
klasyfikacji wielokategorialnej 


e One-error 


— Określa jak często kategoria o najwyższej 
wartości wyjściowej nie należy do zbioru Y, 
— |m mniejsza wartość tym lepiej 


oneerron(f)=+¥([laremax,., f(.y))e 7]21:0) 
P 


i=l 


Miary oceny jakości 
klasyfikacji wielokategorialnej 


e Ranking loss 
— Określa uśrednioną część par kategorii 


(yy) (MEX Ane Xa tla») FC y) 
— Im mniejsza wartość tym lepiej 


ross, (1) a7 K(y,.9,)e Y,xY,: f(x,,y,)< ESA) 


Klasyfikacja wielokategorialna 
— zastosowanie w bioinformatyce 


e Genomika funkcjonalna (functional genomics) 
— Cele: 
e Określenie funkcji genów i kodowanych przez nie białek 
e Poznanie procesów zachodzących w organizmach żywych 
— Narzędzia: 
e Mikromacierze DNA 
— Poziomy ekspresji genów w różnych warunkach 
e Sekwencje 
— nukleotydów w danym genie 
— aminokwasów w białku kodowanym przez gen 
e Profile filogenetyczne 
— Ciąg bitów odpowiadających genomom różnych gatunków 
— | — gen występuje w danym genomie, 0 — w p.p. 


Klasyfikacja wielokategorialna 
— zastosowanie w bioinformatyce 


e Genomika funkcjonalna (functional genomics) 


— Problem klasyfikacji wielokategorialnej: 
e Każdy gen powiązany ze zbiorem funkcji (klas) 
e Przykład — genom drożdży: 
— Określone 14 klas funkcji genów 
— Gen YAL062w należy do klas: 
e Metabolism 
e Energy 
e Cellular Biogenesis 


Klasyfikacja wielokategorialna 
— zastosowanie w bioinformatyce 


e Klasyfikacja wielokategorialna w genomie 
drożdży 


‘Trarsport Cellular Communication, 
Facılitahon Sigal Transduction 


Cellular Cellular Transport, 
Organization Transport Mechanism: 
i Transposable Elements 

+ | Viral and Plasmid Proteins 


Wyznaczanie klas fukcjonalnych 
genomu drożdży (za pomocą BP-MLL) 


e Dane wejściowe 
— Profile ekspresji genów (z mikromacierzy DNA) 
— Profile filogenetyczne 
— 103 wymiarowy wektor 
e Zbiór klas funkcjonalnych 
— Struktura hierarchiczna — 4 poziomy 
— 1. poziom — 14 klas funkcjonalnych 
— Każdy gen powiązany z wieloma klasami: 
e średnia: 4.24 
e odchylenie standardowe: 1.57 
e Zbiór uczący 
— 2417 genów powiązanych z klasami funkcjonalnymi 


Wyznaczanie klas fukcjonalnych 
genomu drożdży (za pomocą BP-MLL) 


e Parametry sieci neuronowej 
— Współczynnik uczenia: 0.05 


— Liczba neuronów w warstwie ukrytej: 


e Od 20 do 100 procent liczby elementów wejściowych (krok: 20 
procent) 


- 100 epok 
e Przebieg uczenia 
— Walidacja krzyżowa 
e Zbiór danych losowo dzielony na 10 równych części 
e 10 cykli uczenia 
— 1 cześć — zbiór testowy 
— 9 części — zbiór uczący 
- Wyznaczenie miar oceny jakości klasyfikacji 


e Wyznaczenie uśrednionych (z 10 cykli) miar oceny jakości 
klasyfikacji 


Wyznaczanie klas fukcjonalnych 
genomu drożdży (za pomocą BP-MLL) 


e Miary jakości: 
— Błąd globalny 


global training error (x107) 


Wyznaczanie klas fukcjonalnych 
genomu drożdży (za pomocą BP-MLL) 


e Miary jakości: 
— Hamming loss 


Wyznaczanie klas fukcjonalnych 
genomu drożdży (za pomocą BP-MLL) 


e Miary jakości: 
— One-error 
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Wyznaczanie klas fukcjonalnych 
genomu drożdży (za pomocą BP-MLL) 


e Miary jakości: 
— Ranking loss 


Wyznaczanie klas fukcjonalnych 
genomu drożdży (za pomocą BP-MLL) 


e BP-MLL a klasyczny perceptron 


Miara jakości BP-MLL Klasyczny 
klasyfikacji perceptron 
Hamming loss 0.206 (+0.011) 0.209 (+0.008) 


(+ 
One-error 0.233 (+0.034) 0.245 (+0.032) 
Ranking loss 0.171 (+0.015) 0.184 (+0.017) 


— Liczba neuronów w warstwie ukrytej — 20% liczby elementów 
wejściowych 


Propozycje 
eksperymentów badawczych 


e Zastapienie perceptronu siecią radialną 


— Warstwa ukryta — neurony radialne opisane np. 
funkcją Gaussa: 


E = 
g(x:c,0?)= e | a 
- Uczenie 
e Parametry neuronów warstwy ukrytej — radialnych 
— uczenie bez nadzoru — klasteryzacja (np. k-means) 
e Wagi połączeń (warstwy ukryta — wyjściowa) 
— Wsteczna propagacja błędu 


Propozycje 
eksperymentów badawczych 


e Modyfikacje funkcji błędu 


max leti )) c= ele) 
e jay Wert j 


$ Ę l (ci -ci i 
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i=l i=l Imin(Y,, K )|max A K (k,l )}emin(Y, ,K )xmax(Y,,K) 


Propozycje 
eksperymentów badawczych 


e Modyfikacje funkcji progowej 
— Uogólnienie 
— Zależność od: 
e wektora wejściowego 
e kategorii (klas) 
— Adaptacja parametrów funkcji progowej na 
podstawie zbioru uczącego 
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